HTTP-заголовки для блокирования роботов

General subject: Robot exclusion headers (http://www.multitran.ru/c/m.exe?a=ForumReplies&MessNum=436)